Automatizacija testiranja pomoću Toxa: Dubinski pregled testiranja u više okruženja za globalne timove

U današnjem globalnom softverskom okruženju, fraza "radi na mom računalu" više je od programerskog klišeja; to je značajan poslovni rizik. Vaši korisnici, klijenti i suradnici rasprostranjeni su diljem svijeta, koristeći raznolik niz operativnih sustava, Python verzija i ovisnosti. Kako možete osigurati da vaš kod nije samo funkcionalan, već i pouzdano robustan za sve, svugdje?

Odgovor leži u sustavnom, automatiziranom testiranju u više okruženja. Tu Tox, alat za automatizaciju upravljan naredbenim retkom, postaje neizostavan dio alata modernog Python programera. On standardizira testiranje, omogućujući vam definiranje i izvršavanje testova kroz matricu konfiguracija jednom jedinom naredbom.

Ovaj sveobuhvatni vodič provest će vas od osnova Toxa do naprednih strategija za testiranje u više okruženja. Istražit ćemo kako izgraditi otporan cjevovod za testiranje koji osigurava da je vaš softver kompatibilan, stabilan i spreman za globalnu publiku.

Što je testiranje u više okruženja i zašto je ključno?

Testiranje u više okruženja je praksa pokretanja vašeg skupa testova na više različitih, odvojenih konfiguracija. Te konfiguracije, ili "okruženja", obično se razlikuju po:

• Verzije Python interpretera: Radi li vaš kod na Pythonu 3.8 jednako dobro kao i na Pythonu 3.11? Što je s nadolazećim Pythonom 3.12?
• Verzije ovisnosti: Vaša aplikacija se možda oslanja na biblioteke poput Djanga, Pandasa ili Requestsa. Hoće li se pokvariti ako korisnik ima nešto stariju ili noviju verziju tih paketa?
• Operativni sustavi: Upravlja li vaš kod ispravno putanjama datoteka i sistemskim pozivima na Windowsima, macOS-u i Linuxu?
• Arhitekture: S porastom procesora temeljenih na ARM-u (poput Apple Silicona), testiranje na različitim CPU arhitekturama (x86_64, arm64) postaje sve važnije.

Poslovni razlozi za strategiju više okruženja

Ulaganje vremena u postavljanje ovakvog testiranja nije samo akademska vježba; ima izravne poslovne implikacije:

• Smanjuje troškove podrške: Ranijim otkrivanjem problema s kompatibilnošću, sprječavate poplavu zahtjeva za podršku od korisnika čija okruženja niste predvidjeli.
• Povećava povjerenje korisnika: Softver koji pouzdano radi na različitim postavkama percipira se kao kvalitetniji. To je ključno kako za open-source biblioteke tako i za komercijalne proizvode.
• Omogućuje lakše nadogradnje: Kada se objavi nova verzija Pythona, možete je jednostavno dodati u svoju testnu matricu. Ako testovi prođu, znate da ste spremni podržati je. Ako ne uspiju, imate jasan, provediv popis onoga što treba popraviti.
• Podržava globalne timove: Osigurava da programer u jednoj zemlji koji koristi najnovije alate može učinkovito surađivati s timom u drugoj regiji koji možda radi na standardiziranom, nešto starijem korporativnom okruženju.

Predstavljamo Tox: Vaš zapovjedni centar za automatizaciju

Tox je dizajniran da elegantno riješi ovaj problem. U svojoj srži, Tox automatizira stvaranje izoliranih Python virtualnih okruženja, instalira vaš projekt i njegove ovisnosti u njih, a zatim pokreće vaše definirane naredbe (poput testova, lintera ili izgradnje dokumentacije).

Sve ovo kontrolira se jednom jednostavnom konfiguracijskom datotekom: tox.ini.

Početak rada: Instalacija i osnovna konfiguracija

Instalacija je jednostavna pomoću pipa:

pip install tox

Zatim, stvorite datoteku tox.ini u korijenskom direktoriju vašeg projekta. Krenimo s minimalnom konfiguracijom za testiranje na više verzija Pythona.

Primjer: Osnovni tox.ini

[tox]
min_version = 3.7
isolated_build = true
envlist = py38, py39, py310, py311

[testenv]
description = Run the main test suite
deps = pytest
commands = pytest

Analizirajmo ovo:

• [tox] sekcija: Ovo je za globalne postavke Toxa.
• min_version: Određuje minimalnu verziju Toxa potrebnu za pokretanje ove konfiguracije.
• isolated_build: Moderna najbolja praksa (PEP 517) koja osigurava da se vaš paket izgradi u izoliranom okruženju prije instalacije za testiranje.
• envlist: Ovo je srce testiranja u više okruženja. To je popis okruženja, odvojenih zarezom, kojima želite da Tox upravlja. Ovdje smo definirali četiri: po jedno za svaku verziju Pythona od 3.8 do 3.11.
• [testenv] sekcija: Ovo je predložak za sva okruženja definirana u envlist.
• description: Korisna poruka koja objašnjava što okruženje radi.
• deps: Popis ovisnosti potrebnih za pokretanje vaših naredbi. Ovdje nam je potreban samo pytest.
• commands: Naredbe koje se izvršavaju unutar virtualnog okruženja. Ovdje jednostavno pokrećemo pytest pokretač testova.

Da biste ovo pokrenuli, idite do korijenskog direktorija vašeg projekta u terminalu i jednostavno upišite:

tox

Tox će sada izvršiti sljedeće korake za svako okruženje s popisa `envlist` (py38, py39, itd.):

1. Potražiti odgovarajući Python interpreter na vašem sustavu (npr. `python3.8`, `python3.9`).
2. Stvoriti novo, izolirano virtualno okruženje unutar direktorija .tox/.
3. Instalirati vaš projekt i ovisnosti navedene pod `deps`.
4. Izvršiti naredbe navedene pod `commands`.

Ako bilo koji korak ne uspije u bilo kojem okruženju, Tox će prijaviti pogrešku i izaći s izlaznim kodom različitim od nule, što ga čini savršenim za sustave kontinuirane integracije (CI).

Dubinski pregled: Izrada moćne tox.ini datoteke

Osnovna postavka je moćna, ali prava čarolija Toxa leži u njegovim fleksibilnim opcijama konfiguracije za stvaranje složenih testnih matrica.

Generativna okruženja: Ključ za kombinatorno testiranje

Zamislite da imate biblioteku koja mora podržavati Django verzije 3.2 i 4.2, na Pythonu 3.9 i 3.10. Ručno definiranje sve četiri kombinacije bilo bi ponavljajuće:

Ponavljajući način: envlist = py39-django32, py39-django42, py310-django32, py310-django42

Tox pruža mnogo čišću, generativnu sintaksu koristeći vitičaste zagrade {}:

Generativni način: envlist = {py39,py310}-django{32,42}

Ova jedna linija proširuje se na ista četiri okruženja. Ovaj pristup je visoko skalabilan. Dodavanje nove verzije Pythona ili Djanga svodi se na dodavanje jedne stavke u odgovarajući popis.

Postavke uvjetovane faktorima: Prilagodba svakog okruženja

Sada kada smo definirali našu matricu, kako reći Toxu da instalira ispravnu verziju Djanga u svakom okruženju? To se radi pomoću postavki uvjetovanih faktorima.

[tox]
envlist = {py39,py310}-django{32,42}

[testenv]
deps =
    pytest
    django32: Django>=3.2,<3.3
    django42: Django>=4.2,<4.3
commands = pytest

Ovdje, linija `django32: Django>=3.2,<3.3` govori Toxu: "Uključi ovu ovisnost samo ako naziv okruženja sadrži faktor `django32`." Slično i za `django42`. Tox je dovoljno pametan da analizira nazive okruženja (npr. `py310-django42`) i primijeni ispravne postavke.

Ovo je nevjerojatno moćna značajka za upravljanje:

• Ovisnostima koje nisu kompatibilne sa starijim/novijim verzijama Pythona.
• Testiranjem u odnosu na različite verzije ključne biblioteke (Pandas, NumPy, SQLAlchemy, itd.).
• Uvjetnom instalacijom ovisnosti specifičnih za platformu.

Strukturiranje vašeg projekta izvan osnovnih testova

Robusan cjevovod kvalitete uključuje više od samog pokretanja testova. Također trebate pokretati lintere, provjeru tipova i graditi dokumentaciju. Najbolja praksa je definirati odvojena Tox okruženja za te zadatke.

[tox]
envlist = py{39,310}, lint, typing, docs

[testenv]
deps = pytest
commands = pytest

[testenv:lint]
description = Run linters (ruff, black)
basepython = python3.10
deps =
    ruff
    black
commands =
    ruff check .
    black --check .

[testenv:typing]
description = Run static type checker (mypy)
basepython = python3.10
deps =
    mypy
    # also include other dependencies with type hints
    django
    djangorestframework
commands = mypy my_project/

[testenv:docs]
description = Build the documentation
basepython = python3.10
deps = sphinx
commands = sphinx-build -b html docs/source docs/build/html

Evo što je novo:

• Specifične sekcije okruženja: Dodali smo `[testenv:lint]`, `[testenv:typing]` i `[testenv:docs]`. Ove sekcije definiraju postavke specifično za ta imenovana okruženja, nadjačavajući zadane postavke u `[testenv]`.
• basepython: Za okruženja koja nisu za testiranje, poput `lint` ili `docs`, često ih ne trebamo pokretati na svakoj verziji Pythona. `basepython` nam omogućuje da ih vežemo za određeni interpreter, čineći ih bržima i determinističkijima.
• Čisto odvajanje: Ova struktura održava vaše ovisnosti čistima. Okruženje `lint` instalira samo lintere; vaša glavna testna okruženja ih ne trebaju.

Sada možete pokrenuti sva okruženja s `tox`, određeni skup s `tox -e py310,lint` ili samo jedno s `tox -e docs`.

Integracija Toxa s CI/CD-om za automatizaciju na globalnoj razini

Lokalno pokretanje Toxa je odlično, ali njegova prava snaga otključava se kada se integrira u cjevovod za kontinuiranu integraciju/kontinuiranu isporuku (CI/CD). To osigurava da se svaka promjena koda automatski provjerava u odnosu na vašu punu testnu matricu.

Servisi poput GitHub Actions, GitLab CI i Jenkins savršeni su za ovo. Oni mogu pokretati vaše zadatke na različitim operativnim sustavima, omogućujući vam izgradnju sveobuhvatne matrice kompatibilnosti s OS-ovima.

Primjer: tijek rada (workflow) u GitHub Actions

Kreirajmo tijek rada u GitHub Actions koji pokreće naša Tox okruženja paralelno na Linuxu, macOS-u i Windowsima.

Stvorite datoteku na putanji .github/workflows/ci.yml:

name: CI

on: [push, pull_request]

jobs:
  test:
    runs-on: ${{ matrix.os }}
    strategy:
      fail-fast: false
      matrix:
        os: [ubuntu-latest, macos-latest, windows-latest]
        python-version: ['3.8', '3.9', '3.10', '3.11']

    steps:
    - name: Check out repository
      uses: actions/checkout@v3

    - name: Set up Python ${{ matrix.python-version }}
      uses: actions/setup-python@v4
      with:
        python-version: ${{ matrix.python-version }}

    - name: Install Tox
      run: pip install tox tox-gh-actions

    - name: Run Tox
      run: tox -e py

Analizirajmo ovaj tijek rada:

• strategy.matrix: Ovo je srž naše CI matrice. GitHub Actions će stvoriti zaseban posao za svaku kombinaciju `os` i `python-version`. Za ovu konfiguraciju, to je 3 operativna sustava × 4 verzije Pythona = 12 paralelnih poslova.
• actions/setup-python@v4: Ova standardna akcija postavlja specifičnu verziju Pythona potrebnu za svaki posao.
• tox-gh-actions: Ovo je koristan Tox dodatak koji automatski mapira verziju Pythona u CI okruženju na ispravno Tox okruženje. Na primjer, u poslu koji se izvodi na Pythonu 3.9, `tox -e py` će se automatski razriješiti u pokretanje `tox -e py39`. To vas spašava od pisanja složene logike u vašoj CI skripti.

Sada, svaki put kada se kod gurne (push), vaša cijela testna matrica se automatski izvršava na sva tri glavna operativna sustava. Dobivate trenutnu povratnu informaciju o tome je li promjena uvela nekompatibilnost, što vam omogućuje da s pouzdanjem gradite za globalnu bazu korisnika.

Napredne strategije i najbolje prakse

Prosljeđivanje argumenata naredbama s {posargs}

Ponekad trebate proslijediti dodatne argumente vašem pokretaču testova. Na primjer, možda želite pokrenuti određenu datoteku s testovima: pytest tests/test_api.py. Tox to podržava sa supstitucijom {posargs}.

Izmijenite vašu tox.ini datoteku:

[testenv]
deps = pytest
commands = pytest {posargs}

Sada možete pokrenuti Tox ovako:

tox -e py310 -- -k "test_login" -v

-- odvaja argumente namijenjene Toxu od argumenata namijenjenih naredbi. Sve nakon toga bit će zamijenjeno s {posargs}. Tox će izvršiti: pytest -k "test_login" -v unutar `py310` okruženja.

Kontroliranje varijabli okruženja

Vaša aplikacija se može ponašati različito ovisno o varijablama okruženja (npr. DJANGO_SETTINGS_MODULE). Direktiva setenv omogućuje vam da ih kontrolirate unutar vaših Tox okruženja.

[testenv]
setenv =
    PYTHONPATH = .
    MYAPP_MODE = testing

[testenv:docs]
setenv =
    SPHINX_BUILD = 1

Savjeti za brže pokretanje Toxa

Kako vaša matrica raste, pokretanje Toxa može postati sporo. Evo nekoliko savjeta za ubrzanje:

• Paralelni način rada: Pokrenite `tox -p auto` da bi Tox pokrenuo vaša okruženja paralelno, koristeći broj dostupnih CPU jezgri. Ovo je vrlo učinkovito na modernim računalima.
• Selektivno ponovno stvaranje okruženja: Prema zadanim postavkama, Tox ponovno koristi okruženja. Ako se vaše ovisnosti u `tox.ini` ili `requirements.txt` promijene, trebate reći Toxu da ponovno izgradi okruženje od nule. Koristite zastavicu za ponovno stvaranje: `tox -r -e py310`.
• CI predmemoriranje (caching): U vašem CI/CD cjevovodu, predmemorirajte direktorij .tox/. To može značajno ubrzati sljedeća pokretanja jer se ovisnosti neće morati preuzimati i instalirati svaki put, osim ako se ne promijene.

Globalni primjeri upotrebe u praksi

Pogledajmo kako se ovo primjenjuje na različite vrste projekata u globalnom kontekstu.

Scenarij 1: Open-source biblioteka za analizu podataka

Održavate popularnu biblioteku izgrađenu na Pandas i NumPy. Vaši korisnici su znanstvenici podataka i analitičari diljem svijeta.

• Izazov: Morate podržavati više verzija Pythona, Pandasa, NumPyja i osigurati da radi na Linux poslužiteljima, macOS prijenosnicima i Windows računalima.
• Tox rješenje: envlist = {py39,py310,py311}-{pandas1,pandas2}-{numpy18,numpy19} Vaša tox.ini datoteka koristila bi postavke uvjetovane faktorima za instaliranje ispravnih verzija biblioteka za svako okruženje. Vaš tijek rada u GitHub Actions testirao bi ovu matricu na sva tri glavna operativna sustava. To osigurava da korisnik u Brazilu koji koristi stariju verziju Pandasa dobije isto pouzdano iskustvo kao i korisnik u Japanu na najnovijem okruženju.

Scenarij 2: Korporativna SaaS aplikacija s klijentskom bibliotekom

Vaša tvrtka, sa sjedištem u Europi, pruža SaaS proizvod. Vaši klijenti su velike, globalne korporacije, od kojih mnoge koriste starije verzije operativnih sustava i Pythona s dugoročnom podrškom (LTS) radi stabilnosti.

• Izazov: Vaš razvojni tim koristi moderne alate, ali vaša klijentska biblioteka mora biti unatrag kompatibilna sa starijim korporativnim okruženjima.
• Tox rješenje: envlist = py38, py39, py310, py311 Vaša tox.ini datoteka osigurava da svi testovi prolaze na Pythonu 3.8, što bi mogao biti standard kod velikog klijenta u Sjevernoj Americi. Automatskim pokretanjem ovoga u CI-ju, sprječavate programere da slučajno uvedu značajke koje koriste sintaksu ili biblioteke dostupne samo u novijim verzijama Pythona, čime se sprječavaju skupi neuspjesi pri implementaciji.

Zaključak: Isporučujte s globalnim pouzdanjem

Testiranje u više okruženja više nije luksuz; to je temeljna praksa za razvoj visokokvalitetnog, profesionalnog softvera. Prihvaćanjem automatizacije s Toxom, ovaj složeni izazov pretvarate u pojednostavljen, ponovljiv proces.

Definiranjem podržanih okruženja u jednoj tox.ini datoteci i integracijom s CI/CD cjevovodom, stvarate moćnu kontrolnu točku kvalitete. Ta točka osigurava da je vaša aplikacija robusna, kompatibilna i spremna za raznoliku, globalnu publiku. Možete prestati brinuti o strašnom problemu "radi na mom računalu" i početi isporučivati kod s pouzdanjem da će raditi na svačijem računalu, bez obzira gdje se nalazili u svijetu.